Johan III kết hôn với vợ trước là Catherine Jagellonica của Ba Lan (1526-1583), thuộc triều đại Jagiellonian ngày 4 tháng 10, 1562 tại Vilnius. Ở Thụy Điển, bà thường được biết đến với cái tên Katarina Jagellonica. Bà là em gái của vua Zygmunt II August của Ba Lan. Họ có ba người con là:

• Isabella (1564–1566)
• Sigismund III Vasa, Vua của Thụy Điển (1592–1599), và Vua của Ba Lan (1587–1632), Đại Công tước của Phần Lan và Litva
• Anna (1568–1625)

Ông kết hôn với người vợ thứ hai là Gunilla Bielke (1568-c. 1592) vào ngày 21 tháng 2, 1584. Họ có với nhau 1 người con trai là:

• John (Johan) (1589–1618), lúc đầu là Công tước của Phần Lan, sau đó từ năm 1608 đổi thành Công tước xứ Ostrogothia. Ông kết hôn với người em họ là Công chúa Maria Elisabet (1596-1618), con gái của Karl IX của Thụy Điển (trị vì từ năm 1599 đến năm 1611)

Bên cạnh đó, ông còn có thêm ít nhất 4 người con ngoài giá thú với người hầu gái của mình là Karin Hansdotter (1532-1596):

• Julius Gyllenhielm (1559–1581)
• Augustus (1557–1560)
• Sofia Johansdotter Gyllenhielm (1556–1583), sau này kết hôn với Pontus De la Gardie
• Lucretia (1560–85)

Johan III vẫn luôn quan tâm và chăm sóc cho Karin và các con của họ ngay cả khi ông đã kết hôn với Catherine Jagellonica năm 1562 và lên ngôi vua năm 1568. Sau này, ông còn gả chồng cho Karin để chăm sóc cho cô và các con. Năm 1561, Karin kết hôn với nhà quý tộc Klas Andersson (nhà Västgöte), là một người bạn, đồng thời là người đầy tớ trung thành của Johan III. Họ có thêm với nhau một người con gái tên là Brita. Năm 1563, do Klas Andersson bị Erik XIV giết chết nên đến năm 1572, Karin tái hôn với Lars Henrikson, một người được Johan III phong tước quý tộc vào năm 1576 để chăm sóc cho con của họ.